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Імовірнісні моделі для аналізу 
та прогнозування часових рядів 


Досліджені основні результати використання апарату прихованих марківських моделей для аналізу часових 
рядів та пов'язані з ними діаграми впливу. Розглянуті особливості використання апарату марківських 
ланцюжків для аналізу часових рядів та навчання марківських ланцюжків. 


Вступ 


В українській мові є чимало слів, які позначають спробу зазирнути у майбутнє: 
передчуття, інтуїція, прогнозування, ознака, передбачення, пророкування, пророцтво, 
віщування, гадання та таке інше. До математичних методів має відношення, мабуть, 
тільки прогнозування та передбачення. 

Людину завжди цікавило майбутнє. Цей інтерес зрозумілий та не позбавлений здо- 
рового глузду - точна інформація про розмір ринкового попиту, зміни цін, курсів валют 
через тиждень, місяць, рік надають володарю знань можливість впливати на ситуацію 
сьогодні для отримання прибутку, дивідендів та преференцій у майбутньому. Оскільки 
економічні умови здійснення бізнесу змінюються з часом, менеджерам особливо вима- 
гається «тримати руку на пульсі» цих змін для результативного виконання ділових 
операцій. 

Одним із заходів, яким менеджери можуть скористатися при оцінці ефективності 
майбутніх керівних рішень, є прогнозування. На цей час розроблено багато методів 
прогнозування, у яких загальна мета - завбачити з тим чи іншим ступенем надійності 
майбутні події та врахувати цей прогноз при плануванні управлінських рішень. 

Формально використовується два підходи до прогнозування - якісний та кількісний. 
Методи якісного прогнозування важливі, коли дані за минулі проміжки часу недоступні 
або ненадійні. Наприклад, при прогнозуванні обсягу продажу цілком нового товару, який 
не існував ще на ринку. Усі якісні методи (наприклад, метод експертної оцінки, 
дельфійський метод) занадто суб'єктивні і тому не досить достовірні. Кількісні методи 
базуються на використанні інформації за минулі періоди часу; при дослідженні тенденцій 
процесу в минулому можна з'ясувати основні взаємозалежності між величинами та 
видати більш надійний прогноз на майбутнє. 

Усі методи кількісного прогнозування також можливо розподілити на два типи: 
причинні методи та методи, які базуються на аналізі часових рядів. Перші з них (що звуть 
часто методами моделювання процесів) мають у складі визначення значимих чинників та 
функціональної залежності відгуку від цих чинників із застосуванням множинного 
регресійного аналізу або економетричного моделювання (факторний аналіз). Прогноз за 
часовими рядами, в свою чергу, передбачає визначення прогнозного значення змінної 
виключно на підставі минулих та поточних значень цієї ж змінної. В найпростішому 
випадку прогнозування може бути результативно виконано за допомогою звичайного 
спостереження за явищем з цікавлячої нас сторони. 
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Прогнозування на основі часових рядів - один із самих популярних підходів до 
прогнозування розвитку економічних процесів, об'ємів торгових операцій, об'ємів вироб- 
ництва та накопичення продукції на складах, оцінювання альтернативних економічних 
стратегій, формування бюджетів підприємств та держави, прогнозування та менеджмент 
економічних і фінансових ризиків та інше. 

Спочатку розглянемо основні визначення та результати щодо використання апарату 
прихованих шмарківських моделей для аналізу часових рядів |1|, 121. Буде розглянутий 
апарат марківських ланцюжків. Розглянемо особливості використання апарату марківсь- 
ких ланцюжків для аналізу часових рядів. Дамо класифікацію марківських моделей. 
Також розглянемо приховані марківські моделі (ПММ) та пов'язані з ними діаграми 
впливу. 


Марківські ланцюжки 


Розглянемо алфавіт 5 - З базнноб й та послідовність випадкових величин 
Хо уз» ЯКі приймають значення на цьому алфавіті 5. Стан 5, в послідовності, 
яку називають множиною або простором станів. Для зручності надалі стани будемо 
позначати їх індексами і тоді 5 - 41,2,...,./ ). 

Послідовність випадкових величин їх и р 
(МЛ), якщо для всіх п21 та /,, /зз-.-/, Є 5 має місце: 


Р(Х, - ота Куа ба) я РІХ, з А рН (1) 
Зміст МЛ полягає в тому, що якщо Х, - ), - майбутній випадок, то умовна 


називається марківс ьким ланцюоєжком 


ймовірність цього випадку, яка задається історичною послідовністю Х, з І, 
Ха Х, г» залежить тільки від свого безпосереднього попередника 
Ха 7, та не залежить від 3, з / о ХК, З ДьооХ,2» Зо 

Рівняння, наведене в (1), відоме як марківська властивість. 

Нехай ре Я я - МЛ. Якщо Х, - ), то ми кажемо, що ланцюжок знаходиться у 
стані |) на момент часу п або ланцюжок у момент часу п перейшов до стану /. Тоді 
умовні ймовірності 

ри З Р(Х, я Ху зі), п21,і/е5. 02 


Виникає ряд запитань. В яких випадках МЛ має унікальний інваріантний розподіл? 
Чи існує збіжність до інваріантного розподілу? У загальному випадку на ці запитання 
досить важко відповісти. Але для кінцевих просторів станів відповіді можуть бути 
отримані. Надалі нас будуть цікавити марківські ланцюжки цього типу. 


Про МЛ ЇХ, |" 


пед 
ат (а, збу ) , Заданий на фазовому просторі 5 , такий, що 
т л(п) є а (3) 
по-ою0 
для будь-якого початкового розподілу л(0). 
Безсумнівно, що ліміт-розподіл а повинен бути унікальним. Для ергодичного МЛ 
ліміт-розподіл та інваріантний розподіл ідентичні. 
Наведемо умови достатності ергодичності: 
Припустимо, що ти рі) - а; для усіх ) та незалежно від 7. Візьмемо п- І та, 


говорять, що він ергодичний, якщо існує розподіл ймовірностей 


припускаючи, що в рівнянні Чапмена-Колмогорова т -» со , ми отримаємо 


Л 
а, з йт р. (т-ї)з У, та руу(ті)- ра, (1)- 
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/ / 
2 при) 9 ак Ру» 


оскільки р му (1) - ру; Для першого кроку. Інакше кажучи, 


М 
а, з ау Ру І 8Ьоо». (4) 
Кеї 


Останній вираз може бути записаний як а - аР. Таким чином, ми бачимо, що 
лімітні властивості матриць переходів п кроків також пов'язані з питанням лімітації 
розподілів. 


Навчання марківських ланцюжків 


Тепер ми будемо застосовувати кроки байєсова моделювання до тренування послі- 
довності, яка використовує родину марківських моделей. Марківська модель повністю 
визначається матрицею переходів та початковим розподілом ймовірностей. Імовірнісне 
навчання передбачає: 

1. Марківський імовірнісний розподіл визначає ймовірність будь-якої послідов- 
ності, обумовленої матрицею переходів та початковим розподілом. 

2. Передування, яке виражає невизначеність про матрицю переходів та початковий 
розподіл. 

Якщо (1) об'єднано відомим чином з процесом тренування послідовності, ми отри- 
муємо функцію правдоподібності, що стосується родини марківських моделей. Функція 
правдоподібності комбінована з (2) через байєсівські правила породжує апостеріорний 
розподіл для параметрів родини марківських моделей. Використовуючи (1) та (2), ми та- 
кож обчислюємо прогнозований розподіл та отримуємо порівняльну модель за допо- 
могою байєсівських чинників. 

Розглянемо максимальну достовірність для марківських ланцюжків. 

Нехай 0 - матриця ймовірностей переходів: 


ди О Оу 
0 0 0 

9 я Щі ра У (5) 
ди ЛА ду 


Нас турбує оцінка моделі 0 в родині імовірнісних моделей ріх|в) для навчання 
: : : па 
послідовності х з п-- 1 станівв 5 


хе о є 8". 
Як було показано раніше, для МЛ 


р(хід)- Р(Х, -/»Хро ЛК, 7. 


8) о (01 ді ; (6) 


Тоді під моделлю родини будемо розуміти обумовлену на 7, (0) та 0 - 0, послі- 


п 


довність станів в Х, що є виходом Марківського ланцюжку ЇХ - із стаціонарними 


п20 


ймовірностями переходу 0. 


Тут ми маємо щонайбільше ./"-./ параметрів переходу та ./-1 початкових 
ймовірностей для оцінки використання даних х. Ми робимо апроксимацію з тим, щоб 
знехтувати початковим розподілом як частиною проблеми оцінювання. 
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Як функцію 0 для фіксованого х забезпечення апроксимації або умовної функції 
правдоподібності візьмемо 


це)- Пе, т 


Відповідна логарифмічна функція правдоподібності: 


(д)- Упав, і (3) 


Тепер розглянемо максимальну достовірність матриці переходів. 
Введемо запис для кількості часу, який вимагається для переходу від і до ) В 
хе(/о о). Маємо 
пду 7 Кількість таких /, що І«І«п, / і Зі, /, З /- (9) 
Використовуючи підрахунок частоти ПД; МИ МОЖеМО Записати функцію достовір- 


ності таким чином: 
/ . 
це Пе 0) 
Без сумніву, всі пут достатні статистики для цієї моделі родини. Логарифмічна 


) 
достовірність з (8) буде тепер мати вигляд: 


ц0)- 3 ту: (11) 


іст узі 

Нехай також 

п, -- кількість таких /, що І «І «п, /,д Зі, /, - |, (12) 

так, що п, дорівнює кількості часу, за який досягається стан і в послідовності х, в тому 
числі й перехід за останній проміжок часу. 

Розглянемо усереднену модель та апостеріорний розподіл для рядків матриці 
переходу. 

Припустимо, що невизначеність ряду 0 в(5) 
8. «виновиг) 


1 
моделюється незалежними спадковими величинами, що мають відповідну щільність Ді- 
ріхле для 7 - 1,...,./. 


Нехай 5, с В" буде симплекс 


і 
5, «ана 20. зфаїочйо 210, чі 


Нехай для а, 2 0 


І 
сі-1 


Пе 
4(9,,..50,)- суді, якщо 9-0, Є8» 
0 у протилежному випадку. 
Тут 
1 
1 а, 
Т Моз 
І 
7 Цга,) 
1 


1 
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В цьому випадку щільність до, об ,0,) називають щільністю Діріхле. За звичай її 
позначають 
Ріг(ац у... ). 
Якщо а за, з..за, зК, то будемо говорити про симетричну щільність 


Діріхле. Щільність Діріхле має властивість 


Ї'еі0,....0, 39, ...40, 21, 
5, 


доведення якої було наведене у Вілкса |31. 
В нашому випадку маємо: 


Га, нов 
ріндузси КЛЕНИ ть а С в че (13) 


П Га, й 


7-1 
де 
/ 
а,» 0, 44,20, 5 4ц, 21. а4) 
їні 


Тоді ми будемо використовувати у якості щільності спільного апріорного розподілу 
щільність багатомірного розподілу Діріхле: 


/ 
Понвга, іо чо (15) 
із1 
Таким чином, щільність апостеріорного розподілу дорівнює: 
до Та,) 


/ " П й З 
Мі Пгіом.,) й 


р(діх)- -- бо | (6) 


де Р(Х) є нормалізація, яка переводить рід») стохастичну щільність в 0. 


Тепер розглянемо прогнозну ймовірність. 
Можно запитати, що таке наша ймовірність 
ВХ і ДХ, -- іх), 
де вказано, що ймовірність базується на підготовленій послідовності хХ - ( я Я ) є", 
Враховуючи наш підхід до марківського моделювання х в попередньому розділі, однією 
з відповідей могла би бути 
і ами -ДХ, - іх)- ву» 

вбудовуючи оцінку максимальної достовірності ймовірності переходу. 

З точки зору спостережності ми повинні розглядати тільки унікальну послідовність 


х для Р(Х "" 5 х) та забезпечувати відповідь як 


Во рак - їх) бі ву , 
оскільки ), - остання перемінна у послідовності. 

Існують інші шляхи, як відповісти на поставлені питання нашого дослідження. Ви- 
користовуючи послідовність х , можемо взяти апостеріорну щільність для 0 Й тоді забез- 
печити нову матрицю переходів за допомогою моделі усереднення 

Р'(Хуа 2. ДХ, сбх)- 9, р(віх) а8. (7) 
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Застосовуючи (15), отримуємо 


Р(Хуа міх, сяк) - |, р(діхуав - | 
де 
і - 
поза) ДТ ав 


Використовуючи широковідому формулу для оцінки варіаційних інтегралів Діріхле, 
ми отримаємо замість (17) наступний вираз 


па вач 


РУХ зон, сяух)- З Я (18) 


Параметри а, та 4 з,» ЯК Й раніше, відіграють роль псевдолічильника спостережень 


п,кО, 


та упорядковувача. 


Приховані марківські моделі 


Приховані марківські моделі (ПММ) (раніше відомі під назвами -- стохастична 
функція марківського ланцюжку або марківське джерело) - випадковий процес, пород- 
жений двома взаємозалежними стохастичними механізмами. Це - марківські ланцюжки, 
що лежать в основі, із скінченою кількістю станів та множиною випадкових функцій, 
кожна з яких асоційована з відповідним станом. При дискретних моментах часу процес 
знаходиться в деякому стані та спостереження генерується випадковою функцією, яка 
відповідає чинному стану. Базовий марківський ланцюжок змінює свій стан відповідно до 
його матриці переходів. 

Спостерігати можливо тільки результат випадкових функцій, прив'язаних до кож- 
ного стану, та неможливо прямо спостерігати стани базового марківського ланцюжку. 
Таким чином, марківський ланцюжок є фактично прихованим, що й дало назву цій родині 
моделей - прихована марківська модель. 

У принципі результатом від станів прихованого марківського ланцюжку може бути 
багатомірний випадковий процес, який має деяку безперервну функцію спільного розпо- 
ділу. У цій статті ми обмежимося розглядом процесів із дискретним скінченим алфавітом. 

ПММ може розглядатися як родина моделей для послідовності спостережень з 


послідовності спостережень 0 - одно а Модель базується на ідеї прихованої 


послідовності переходів марківських станів. Дамо більш формальне визначення ПММ. 


о 


па0 ? 


Прихований марківський ланцюжок -- це марківський ланцюжок їх б, який приймає 
значення на скінченому фазовому просторі 5 - 1,2, ЕН | ) з // станів. Умовні ймовірності 
ад) -Р(Х, е Ха 2і), п21,і/є5. (19) 

Матриця переходів будується як 


А- (а, ) ) (20) 


із, уч 1 
із добре відомими нам обмеженнями: 
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В момент часу п - 0 стан Х., визначається розподілом ймовірностей /г, (0) - Р(Х, 2 1) 


з я(0) - (ж. (0),...,я, (0). 


Помітний випадковий процес -- це випадковий процес У, їз 


-5 із скінченим фазовим 
пе 


та у, Пн для довільних 


простором Оз ооо, де Ко є./. Процеси о 


пеб 
фіксованих п пов'язані розподілом умовних ймовірностей 
Ь (Ю) є Р(У, з оц, є Д. 


Дік Ь, р " 


/ 


Встановимо, що 


Будемо називати її матрицею ймовірностей розповсюдження. Це інша стохастична 
матриця в тому сенсі, що 
)»о, у )- 


Для довільної послідовності станів /,/|.../, ймовірність послідовності 0.0, ...0, 
визначається як: 


ген» Ко Є» В)е Пь/о 021) 


Інакше кажучи, виділені спостереження умовно незалежні від заданої послідовності 
станів. 


о 
Процес У, до 
загальному випадку не є марківським ланцюжком. 


До набору переваг цих припущень можна записати спільну ймовірність 00; ...0, та 


ДЛ, як 


РІ(у, з0р»ноЇ, 70, 


може розглядатися як функція від марківського ланцюжку, та в 


Ве но руно ЗАВ 01 
Ріо ЗХ В) Р(Хуа Ху 4л(0)) з 


0-15, (0): Па, 
І-0 


Перебудовуючи останній вираз, отримаємо: 
Р(Ї, з дона, по Хо ез Х, Го 


кі Па, пр ьи 


Надалі ми отримуємо спільний розподіл ймовірностей  0,0,...0, ЯК неїстотний 


розподіл, підсумовуючи всі можливі шляхи побудови послідовностей станів. Це 
запишемо наступним чином: 


з Р(У, з... У,54, 8,20) узд Ух, (0), ( о Та ав); (22) 
ті удо 


Таким чином, скінчені вимірні розподіли ймовірностей р у» є повністю визна- 


паї 
ченими нашим вибором стохастичних матриць А , В та початковим розподілом У я (0). 
Отже, ми можемо використовувати повний запис для цієї моделі 


4 «(4, В, л(0)). 
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Різноманітні статті та навчальні посібники про ПММ містять одну незначну відмін- 
ність, що стосується формулювання Ро) в (23). У статті Левінсона |4) та статті 1960 року 
Баума та Петрі була наведена наступна формула: 


п п 
Р(ЙооЇа оно Хі) 2, (0) Др (1) Да, у, (23) 

Ізі Гзі 
яка означає, що не існує розповсюдження в початковому стані або що початковий стан є 
станом «мовчання» (не будемо забувати, що в цих статтях головним застосуванням цього 
математичного апарату було розпізнавання голосу). З іншого боку, це говорить про те, що 
завжди відомо, що початковий стан буде тим же самим. Загальний вигляд цієї формули 
(23) веде початок з роботи Рабінера (5). Так що потрібно ретельно розглянути та 

порівняти різноманітні варіанти формул для ПММ. 

Джелайнек визначав приховані марківські моделі в термінах розподілу роз- 
повсюдження, яке є функцією від переходу стану. Формально це можна подати так, що 


5; (к)- Р(У, зо, -)) замінюється на ду (к) - Р(У, нн зіХ, -)). Легко 
побачити, що це твердження повністю тотожне тому, що використовувалось вище. 

Коли ми кажемо «стохастичний механізм», це припускає наступні кроки генерації 
послідовностей в Я"": 

1. Вибір початкового стану Х, з /,, яке відповідає розподілу л(0). 

2. Встановити п-0. 

3. Обрати У, -о0,, яке відповідає розподілу ймовірностей появи спостережень в 


стані ), - Б; (ю). 
4. Перевести до нового стану Х,, - ),,,, яке відповідає розподілу ймовірностей 


переходу до цього стану -- зоря . 


5. Збільшити п на одиницю та повернутися до кроку 3, якщо п 5 М, або перервати 
роботу алгоритму в протилежному випадку. 

Наведена вище процедура може використовуватися як генератор вибірки, так 1 як 
модель для генерації даної послідовності відповідною ПММ. 

Тепер розглянемо діаграми впливу та нестандартні ПММ. 

Стандартні приховані марківські моделі можна розглядати як граф, наведений на 
рис. 1. Цей вид графів відомий під назвою діаграми впливу або мережі довіри (див. у 
Сміта (61). Кожний вузол у графі зображає випадкову величину, яка описує стан Х, або 
результат спостережень У, в деякий момент часу п. На рис. І ребра (стрілки) зображують 
напрям впливу. Граф зображує модель припущень. Умова марковості означає, що якщо 
нам відомо, який стан ) був відвіданий у момент часу п, то ніяка інша інформація з 
минулого неважлива для майбутнього. На рис. 1 Х, відокремлює попередню змінну від 
майбутньої: після видалення Х, з графу змінні Х, (т » п) стануть від'єднаними від 
змінних Х, (К « п). 

В термінах діаграм впливу можна легко осягнути та працювати не тільки у межах 
стандартних ПММ. Приклади нестандартних моделей подані на наступних рисунках: 
на рис. 2 зображена авторегресивна ПММ, на рис. 3 - спарена ПММ, на рис. 4 - факторна 
ПММ, Ключем для розуміння зображеного повинні стати круги, які мають у собі стани 
прихованого ланцюжку, та трикутники з виданими на відповідні моменти часу станами. 
Детальний розгляд факторних ПММ, поданих на рис. 4, дається у Грахрамані та Джорда- 
на |7). Бойз розглядав у своїй роботі |8| застосування авторегресивних ПММ в аналізі 
біологічних послідовностей. 


512 «Искусственньй интеллект» 372008 


Імовірнісні моделі для аналізу та прогнозування часових рядів 7Б 


Для згаданої вище родини стандартних прихованих марківських моделей існує три 
основні проблеми, вирішення яких необхідно для використання ПММ для аналізу часових 
рядів. 

1. Оцінка або проблема кількісного показника. 

2. Проблема декодування. 

3. Оцінка результату або проблема навчання. 


Рисунок І - Діаграма впливу: стандартна ПММ 


Рисунок 2 - Діаграма впливу: авторегресивна ПММ 


У о У 


Рисунок 3 - Діаграма впливу: спарена ПММ 
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М Й БУ 


Рисунок 4 - Діаграма впливу: факторна ПММ 


Оцінка результату для заданої досліджуваної послідовності 0 -0,...0, МАЄ В СВОЇЙ 
основі пошук моделі: 
4 «(4,8,л(0)), 
яка визначає найбільш ймовірну модель для породження заданої послідовності 0) ...0,, 


що також отримала назву тренувальної послідовності. 
Для вирішення проблеми оцінки результату ми повинні піддати аналізу наступне. 


1. Максимальна правдоподібність Ви визначається так: 

у ре агртпах Р(У, она ОЦІ. 

Имовірність у правій частині тотожності задана в (23). Цей вираз може мати різні 
ступені складності в залежності від реальних виразів для умовних розподілів в В. 7 З - 
для стандартної ПММ, обчисленої за допомогою алгоритма Баума- Уелша, який осно- 
ваний на тих самих процедурах, що й алгоритм максимального очікування для скінчених 
сумішей. 

2. Навчання максимуму апостеріорі й, РА 

Ж з агрттах Р(У, зо РО о, АХА), 


де 2) - щільність апріорного розподілу. 
3. Мінімальна розрізнююча інформація, що була введена Ефараїмом |З), базується 
на мінімізації відповідної відстані Куллбека. 
4. Гладкі алгоритми навчання. Гладка параметризація 4 робиться для того, щоб 
використовувати метод градієнтного спуску. Технологія була розвинута Балді (10). 
5. Навчання за Вітербі. Якщо ми встановимо, що 
РА аю РИХ, еко с З рої 90341 


Лов 
й спробуємо знайти таке А , ЩО максимізує У"(), тоді вже ми можемо говорити про 


навчання за Вітербі. Цей метод був розвинений та проаналізований Джуангом та Рабі- 
нером (111. 

Умову для обчислювання оцінки та навчання в стандартних та нестандартних ПММ 
сформулював Люк (121. 

Сміт та інші (13) ввели загальну структуру графічних моделей для імовірнісних 
незалежних мереж, завдяки яким можна вивести чисельні алгоритми для кількісної 
оцінки та проблеми вирівнювання в інший спосіб, ніж це було представлено в цьому 
тексті. Технологія імовірнісних незалежних мереж може також використовуватися при 
вирішенні цих проблем для ряду нестандартних ПММ. 
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Висновки 


В цій статті були досліджені основні результати щодо використання апарату прихо- 
ваних марківських моделей для аналізу часових рядів. Були розглянуті особливості 
використання апарату марківських ланцюжків для аналізу часових рядів. Також ми 
розглянули приховані марківські моделі та пов'язані з ними діаграми впливу. 

В результаті проведених теоретичних та практичних експериментів було показано, 
що має сенс застосування ПММ для аналізу та прогнозування економічних часових рядів. 
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И.В. Баклан, А.А. Степанкова 

Вероятностнь модели для анализа и прогнозирования временньтх рядов 

Исследованьт основньве результатьт использования скрьтьїх марковских моделей для анализа временньтх 
рядов и связаннье с ними диаграммь влияния. Рассмотренью особенности использования аппарата 
марковских цепочек для анализа временньгх рядов, а также обучение марковских цепочек. 


І. У. ВаКап, А.А. ЗерапКоуа 
Ргорабійсу Моссіз Їог Апаїузіз апа Когеса5іїпо ої Тіте Зегіе5 


Кезеагспед Ше гезиіїв ої цизіпє Ніддеп Магкоу Моаеіз Гог те 8егіє5 апаіузі5 лі реїг ппКаєе о іпЙиепсе 
Фартатя5. Кеміемуеа Іваштез ої изіпо МагКоу5 спат ог те 5егіе5 апаЇузіз апа 5е1-Іеагпіпе ої МатКоу сВаїп5. 
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